Phạm Phú Thứ sinh năm Tân Tỵ (1821) tại làng Đông Bàn [3], huyện Diên Phước, phủ Điện Bàn (cũ), tỉnh Quảng Nam (nay thuộc thôn Nam Hà 1, xã Điện Trung, thị xã Điện Bàn, tỉnh Quảng Nam).

Ông xuất thân trong một gia đình Nho phong, tổ năm đời của ông vốn họ Đoàn, gốc Bắc Thành. Cha ông là Phạm Phú Sung, mẹ ông là Phạm Thị Cẩm (người làng Trừng Giang, và là con gái một ông đồ).

Nhà nghèo, mẹ mất sớm, nhưng nhờ thông minh, chăm chỉ, và từng được Tùng Thiện Vương (Miên Thẩm) dạy dỗ, nên ông Thứ sớm có tiếng là người học giỏi[4].